package com.bw.gmall.realtime.app.dwd;


import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONAware;
import com.alibaba.fastjson.JSONObject;
import com.bw.gmall.realtime.utils.MyKafkaUtil;
import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.cep.CEP;
import org.apache.flink.cep.PatternFlatSelectFunction;
import org.apache.flink.cep.PatternFlatTimeoutFunction;
import org.apache.flink.cep.PatternStream;
import org.apache.flink.cep.pattern.Pattern;
import org.apache.flink.cep.pattern.conditions.SimpleCondition;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer;
import org.apache.flink.util.Collector;
import org.apache.flink.util.OutputTag;

import java.util.List;
import java.util.Map;
//流量域用户跳出事务事实表
/**
 * 流量域用户跳出明细事实表应用
 * 负责识别和统计用户跳出行为，记录用户在短时间内离开网站的访问明细
 * 主要功能点：
 * - 从Kafka读取页面日志数据
 * - 分析用户访问会话模式
 * - 识别用户跳出行为（如只访问一个页面后离开）
 * - 记录跳出页面信息和停留时间
 * - 将处理后的数据写入Kafka主题
 * 
 * 数据流向：
 * 页面日志数据 -> DwdTrafficUserJumpDetail -> 处理后写入dwd_traffic_user_jump_detail主题
 */
public class DwdTrafficUserJumpDetail {
    public static void main(String[] args) throws Exception {
        // TODO 1. 环境准备
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        // TODO 3. 从 kafka topic_log 主题读取日志数据，封装为流
        String topic = "topic_log";
        String groupId = "dwd_traffic_user_jump_detail";

        FlinkKafkaConsumer<String> kafkaConsumer = MyKafkaUtil.getFlinkKafkaConsumer(topic, groupId);
        DataStreamSource<String> pageLog = env.addSource(kafkaConsumer);
        pageLog.print("原始日志数据:");  // 打印原始日志数据

        // TODO 4. 转换结构
        // 将原始日志字符串转换为JSON对象，过滤脏数据
        SingleOutputStreamOperator<JSONObject> mappedStream = pageLog.flatMap(
                new FlatMapFunction<String, JSONObject>() {
                    @Override
                    public void flatMap(String value, Collector<JSONObject> out) throws Exception {
                        try {
                            JSONObject jsonObj = JSON.parseObject(value);
                            out.collect(jsonObj);
                        } catch (Exception e) {
                            System.out.println("脏数据:"+value);
                        }
                    }
                }

        );


        // TODO 5. 设置水位线，用于用户跳出统计
        // 基于事件时间字段ts生成单调递增水位线
        SingleOutputStreamOperator<JSONObject> withWatermarkStream = mappedStream.assignTimestampsAndWatermarks(
                WatermarkStrategy
                        .<JSONObject>forMonotonousTimestamps()
                        .withTimestampAssigner(
                                new SerializableTimestampAssigner<JSONObject>() {
                                    @Override
                                    public long extractTimestamp(JSONObject jsonObj, long recordTimestamp) {
                                        return jsonObj.getLong("ts");
                                    }}));

        // TODO 6. 按照 mid 分组
        // 根据设备ID(mid)进行按键分区，保证同一设备事件流处理顺序
        KeyedStream<JSONObject, String> keyedStream = withWatermarkStream
                .keyBy(jsonObj -> {
                    if (jsonObj != null && jsonObj.getJSONObject("common") != null) {
                        return jsonObj.getJSONObject("common").getString("mid");
                    }
                    return "unknown";
                });
        keyedStream.print("分组后的数据流:");  // 打印分组后的数据


//        keyedStream.print("原始数据(水位线和分组):");
        // TODO 7. 定义 CEP 匹配规则
        // 定义连续两次页面访问都无上一页ID的模式（用户跳出行为）
        // first: 首次访问页面（last_page_id为null）
        // second: 10秒内未产生新的页面访问（仍保持last_page_id为null）
        Pattern<JSONObject, JSONObject> pattern =
                Pattern.<JSONObject>begin("first")
                        .where(
                new SimpleCondition<JSONObject>() {
                    @Override
                    public boolean filter(JSONObject jsonObj) throws Exception {
                        return jsonObj != null && 
                               jsonObj.getJSONObject("page") != null &&
                               jsonObj.getJSONObject("page").getString("last_page_id") == null;
                    }
                }
                ).next("second").where(
                        new SimpleCondition<JSONObject>() {
                            @Override
                        public boolean filter(JSONObject jsonObj) throws Exception {
                            return jsonObj != null && 
                                   jsonObj.getJSONObject("page") != null &&
                                   jsonObj.getJSONObject("page").getString("last_page_id") == null;
                        }
                        }
                        // 上文调用了同名 Time 类，此处需要使用全类名
//                        within() 是 Flink CEP 中的一种操作，用于设置模式匹配的时间窗口。
//                        例如，如果你想在一个时间段内匹配一系列事件，你可以使用 within() 方法来指定这个时间窗口。
                ).within(Time.seconds(10l));


        // TODO 8. 把 Pattern 应用到流上
        // 将定义的CEP模式应用到按键分区后的数据流
        PatternStream<JSONObject> patternStream = CEP.pattern(keyedStream, pattern);
        //1.取出符合规则的流   2.取出超时流


        // TODO 9. 提取匹配上的事件以及超时事件
        System.out.println("开始提取匹配事件和超时事件...");
        OutputTag<JSONObject> timeoutTag = new OutputTag<JSONObject>("timeoutTag") {
        };


        // 处理匹配事件和超时事件
        // flatSelectStream: 主输出流（符合CEP模式的事件）
        // timeoutTag: 侧输出流标签（超时未匹配的事件）
        SingleOutputStreamOperator<JSONObject> flatSelectStream = patternStream.flatSelect(
                timeoutTag,
                new PatternFlatTimeoutFunction<JSONObject, JSONObject>() {
                    @Override
                    public void timeout(
                            Map<String, List<JSONObject>> pattern, long timeoutTimestamp, Collector<JSONObject> out) throws Exception {
                        // 超时处理：当first事件在10秒内未匹配到second事件时
                        JSONObject element = pattern.get("first").get(0);
                        //超时流
                        out.collect(element);
                    }
                },
                new PatternFlatSelectFunction<JSONObject, JSONObject>() {
                    @Override
                    public void flatSelect(Map<String, List<JSONObject>> pattern, Collector<JSONObject> out) throws Exception {
                        // 正常匹配处理：连续两次访问都无上一页ID
                        JSONObject element = pattern.get("first").get(0);
                        out.collect(element);
                    }});

//        SingleOutputStreamOperator<JSONObject> flatSelectStream = patternStream.process(new MyPS());
        flatSelectStream.print("主流");
        DataStream<JSONObject> timeOutDStream = flatSelectStream.getSideOutput(timeoutTag);
        timeOutDStream.print("超时流");

        // TODO 11. 合并两个流并将数据写出到 Kafka
        // 合并主流（匹配事件）和超时流（未匹配事件）形成完整数据流
        DataStream<JSONObject> unionDStream = flatSelectStream.union(timeOutDStream);
        unionDStream.print("合并后的跳出数据:");  // 打印合并后的跳出数据
        String targetTopic = "dwd_traffic_user_jump_detail";
        FlinkKafkaProducer<String> kafkaProducer = MyKafkaUtil.getFlinkKafkaProducer(targetTopic);
        // 将JSON对象转换为字符串格式写入Kafka
        unionDStream.map(JSONAware::toJSONString).addSink(kafkaProducer);
        // TODO 12. 启动任务
        System.out.println("DwdTrafficUserJumpDetail任务启动中...");
        env.execute("DwdTrafficUserJumpDetail");


    }

}